ففكروا في تأسيس مدينة أخرى أصح منها هواء وأبعد عن الرطوبات ، فاختطوا الكوفة . فبعث سعد بن أبي وقاص سلمان الفارسي وحذيفة بن اليمان يرتادان له موضعا تتوافر فيه هذه الشروط ، فوقع اختيارهما على مكان غربى الفرات على مقربة من الحيرة . ولما أقر الخليفة عمر هذا الاختيار غادر سعد المدائن ونزل بجنده في الكوفة في المحرم سنة 17 ه ( يناير سنة 638 م ) ، وعسكر جند العرب - وعددهم أربعون ألفا - في الخيام أولا ثم بنوا بيوتا من القصب . وسرعان ما أتت عليها النار ، فأمر عمر بأن تبنى الدور باللبن . فاختط أبو الهياج بن مالك الأسدي شوارعها وأزقاتها ، وأسس بها جامعا وبنى في مقدمته ظلة مقامة على أساطين من الرخام . وجعل العرب المسجد في وسط المدينة حيث تفرعت الطرق والدروب ، وبنى في نهاية أحد هذه الطرق دار سعد بن أبي وقاص ، وتبعد عن المسجد بمائتى ذراع ، واتخذ فيها بيت المال . وقام ببناء المسجد ودار الإمارة بنامون من الفرس على مثال مباني الأكاسرة . وكانت الطرق فسيحة رحبا حتى لا يحتجب عن العرب هواء البادية الذي ألقوه . وسرعان مازادت أهمية البصرة والكوفة حتى أصبحتا من أعظم مراكز العلم والسياسة والحرب في البلاد الإسلامية ، وغدت الكوفة قصبة العراق الأعلى . فكان والى الكوفة يعين من قبله الولاة على الباب وأذربيجان وهمذان والري وأصبهان والموصل وقرقيسيا . ولكن أكثر من نزل الكوفة من عرب اليمن . ولما ولى علي بن أبي طالب الخلافة ترك المدينة واتخذ الكوفة حاضرة لخلافته لأن بها شيعته وأنصاره ، ثم لخصوبة أرضها وكثرة خيراتها ، ووقوعها في مكان متوسط سهل الاتصال بأجزاء الدولة الإسلامية . ومما دعا عليا إلى هذا الاختيار ما عول عليه من حرب معاوية الذي امتنع عن بيعته . ولكن الأيام برهنت على أن عليا لم يوفق في اختيار تلك الحاضرة الجديدة . فإن تركه المدينة هدم التوازن الذي كان بين القبائل العربية في عهد الخلفاء من قبله . وقد تبين له بعد فوات الفرصة أن اعتماده على أهل الكوفة لم يكن إلا سرايا .